Trương Nhĩ sinh ra cuối thời Chiến Quốc. Theo Sử ký, lúc còn trẻ ông làm tân khách ở nhà công tử nước Ngụy là Ngụy Vô Kỵ. Trương Nhĩ có lần trốn đi chơi Ngoại Hoàng. Ở đó có người con gái nhà giàu rất đẹp, lấy một người chồng đầy tớ tầm thường, liền trốn chồng về nhà người khách của cha. Người khách của cha cô vốn biết Trương Nhĩ, bèn nói với người con gái:

Người con gái nghe theo. Sau đó người khách của cha cô ta bèn giúp cô ta bỏ chồng và lấy Trương Nhĩ. Trương Nhĩ bây giờ thoát khỏi cảnh nghèo. Nhà người con gái đối đãi chu cấp cho Trương Nhĩ rất hậu. Trương Nhĩ nhờ thế lại tụ tập khách khứa như các nhà thế tộc của chư hầu. Ông có thể làm cho khách ở xa ngàn dặm đến nhà. Sau đó ông được làm quan lệnh ở Ngoại Hoàng, danh tiếng từ đó càng nổi.

Trước nước Nguỵ bị Tần diệt (225 TCN), Trương Nhĩ đã quen biết Trần Dư, hai người kết bạn rất thân. Vì Trần Dư ít tuổi nên xem Trương Nhĩ như cha, hai người làm bạn sống chết có nhau.

Khi đó Lưu Bang còn nghèo, thường hay đến làm du khách ở nhà Trương Nhĩ, ở đấy mấy tháng.